Intern-Decision: Efficient Multimodal Decision Making with Autoregressive Masked Language Modeling
Intern-Decision：自回归掩码语言建模的高效多模态决策模型
🧭 Agent 结构化决策 · 多模态小模型 ★ 深度解读
Shanghai AI Lab · Shanghai Jiao Tong University · Fudan University · Nanyang Technological University
用单次前向的自回归掩码决策替代自由文本生成，输出结构化选择与候选概率，4B模型七套评测集平均准确率90.02%
📌 工作参考价值（4 点）
- 用“掩码决策字段 + 单次前向”替代 free-form JSON 生成或逐字段循环打分，适合电商/广告中高频闭集判断：意图分类、tool routing、风控/安全审核、多字段表单决策等。
- 保留 Qwen 等 causal backbone 与 native LM head，在 assistant skeleton 的 <decision> 占位符前一个 token 读 logits，对 legal options 做 softmax 得到候选概率；无需额外分类头或逐字段前向，且多字段共享 state，减少重复 prefill。
- 对概率输出做 post-hoc temperature scaling 能显著改善 Brier / ECE；可用小模型置信度阈值触发大模型接管，适合难例路由、广告审核升级、搜索结果重排等场景，在精度和成本之间选操作点。
- 多模态输入（文本+可选图像）输出离散动作，适合 GUI Agent、商品图审核、直播画面判断等“看截图→做选择”的闭环任务；训练时冻结 vision tower 可低成本复用预训练视觉能力。